Lý Hoài Quang chào đời năm 729 dưới triều vua Huyền Tông nhà Đường. Ông nguyên là người tộc Mạt Hạt đến từ Bột Hải quốc[3], vốn mang họ Như. Tổ tiên gần của ông di cư từ Bột Hải đến U châu, thần phục nhà Đường. Cha Hoài Quang là Như Thường, do lập được nhiều chiến công nên được ban quốc tính là Lý, ban tên Gia Khánh. Hoài Quang từ nhỏ đã tòng quân, được đánh giá là người dũng cảm, giỏi võ nghệ, do đó được tiền tiết độ sứ Quách Tử Nghi xem trọng. Giữa những năm Thượng Nguyên thời Đường Túc Tông, ông được cử làm Sóc Phương quân đô ngu hậu[3]. Do liên tiếp lập được chiến công, Hoài Quang được thăng chức liên tục. Đến đầu những năm Vĩnh Thái thì được ấp phong lên tới 300 hộ.

Cựu Đường thư ghi lại rằng Lý Hoài Quang là người thanh cần, nghiêm khắc và ác nghiệt, thường hay xử nặng những người có tội, cho dù đó là bạn hữu hay người thân của mình, nhiều lúc còn giết chết. Trong khi Quách Tử Nghi tính khoan hậu, thường không đụng chạm nhiều đến kỉ luật trong quân đội, vì thế việc kỉ cương do Hoài Quang nắm giữ, chúng tướng do vậy rất sợ ông.′Đường Đại Tông lên ngôi (762), do bị tiết độ sứ Hà Đông[4] Tân Vân Kinh gièm pha là có ý mưu phản, tướng Bộc Cố Hoài Ân nổi dậy, chiếm cứ Sóc Phương và sau đó ông ta liên kết với Thổ Phiên chống lại triều đình. Lúc đó Quách Tử Nghi bị bãi binh quyền, Bộc Cố Hoài Ân giao quyền cho một số tướng cũ của Tử Nghi trấn giữ các nơi, trong đó Lý Hoài Quang đóng quân tại Tấn châu[5]. Đến năm 764, Hoài Ân tại Hà Trung[6] ra mặt làm phản, triều đình có chiếu dùng lại Quách Tử Nghi là Tiết độ sứ Sóc Phương, vì thế Lý Hoài Quang và nhiều tướng khác quay trở về với Tử Nghi[7]. Cuộc nổi dậy của Bộc Cố Hoài Ân về sau bị đánh diệt năm 765.

Năm 767, Lý Hoài Quang theo Quách Tử Nghi tấn công tiết độ sứ nổi dậy tại Đồng Hoa[8] Chu Trí Quang. Lý Hoài Quang cùng Hồn Giám được cử làm tiên phong. Ngay trước khi hai người tới nơi thì Chu Trí Quang đã bị thuộc hạ giết chết, cuộc nổi dậy chấm dứt[9]. Năm (769), kiêm Ngự sử trung thừa, rồi Ngự sử đại phu, quân đô ngu hậu (770). Năm 777, quân Thổ Phiên đem quân xâm nhập đất nhà Đường, Lý Hoài Quang được cử đem quân đánh dẹp và đẩy lui được bọn chúng[10].

Cũng năm đó, mẹ Lý Hoài Quang qua đời, ông tạm nghỉ chức về chịu tang. Năm sau (778), ông được triệu dùng trở lại, được giao làm Đô tướng thống lĩnh quân đội Bân châu[11], Ninh châu và Khánh châu[12]. Vào thời gian này, ông cũng nhiều lần đẩy lui sự xâm lược của Thổ Phiên[3].